Stream build script output to the console

This commit alters Cargo's behavior when the `-vv` option is passed (two verbose
flags) to stream output of all build scripts to the console. Cargo makes not
attempt to prevent interleaving or indicate *which* build script is producing
output, rather it simply forwards all output to one to the console.

Cargo still acts as a middle-man, capturing the output, to parse build script
output and interpret the results. The parsing is still deferred to completion
but the stream output happens while the build script is running.

On Unix this is implemented via `select` and on Windows this is implemented via
IOCP.

Closes #1106

Allow specifying -v multiple times

This commit modifies the CLI interface to allow the verbose (-v) flag to be
specified multiple times. This'll be used soon to have `-vv` indicate that more
output should be generated than `-v` during a normal build.

Currently this commit changes the behavior of whether warnings are printed to
print warnings for the **entire DAG of dependencies** if `-vv` is specified.
That is, `--cap-lints` is never passed nor is any warning from build scripts if
`-vv` is specified.

Forward warnings from build scripts

This adds support for forwarding warnings from build scripts to the main console
for diagnosis. A new `warning` metadata key is recognized by Cargo and is
printed after a build script has finished executing.

The purpose of this key is for build dependencies to try to produce useful
warnings for local crates being developed. For example a parser generator could
emit warnings about ambiguous grammars or the gcc crate could print warnings
about the C/C++ code that's compiled.

Warnings are only emitted for path dependencies by default (like lints) so
warnings printed in crates.io crates are suppressed.

cc #1106

Auto merge of #2720 - alexcrichton:ignore-nfs-more-often, r=brson

Ignore file locks on OSX NFS mounts

We already ignore NFS on Linux so let's do the same on OSX as well.

Ignore file locks on OSX NFS mounts

We already ignore NFS on Linux so let's do the same on OSX as well.

Auto merge of #2741 - alexcrichton:cdylib, r=brson

Add support for cdylib crate types

And while we're at it this also extends support for all future crate types
assuming that they aren't linkable by default.

Auto merge of #2680 - alexcrichton:update-toml, r=brson

Update TOML parser to pick up a bugfix

Cargo has previously accepted invalid TOML as valid, but this bugfix should fix
the problem. In order to prevent breaking all crates immediately toml-rs has a
compatibility mode which emulates the bug that was fixed. Cargo will issue a
warning if this compatibility is required to parse a crate.

Auto merge of #2668 - alexcrichton:dont-warn-about-metadata, r=brson

Don't warn about `metadata` keys in the manifest

External tools may want to store metadata in `Cargo.toml` that they read but
Cargo itself doesn't read. For example `cargo-apk` uses this for pieces of
configuration. Cargo unfortunately, however, warns about these keys as "unused
keys in the manifest"

This commit instead whitelists the `package.metadata` key to not warn about any
data inside.

Update TOML parser to pick up a bugfix

Cargo has previously accepted invalid TOML as valid, but this bugfix should fix
the problem. In order to prevent breaking all crates immediately toml-rs has a
compatibility mode which emulates the bug that was fixed. Cargo will issue a
warning if this compatibility is required to parse a crate.

Don't warn about `metadata` keys in the manifest

External tools may want to store metadata in `Cargo.toml` that they read but
Cargo itself doesn't read. For example `cargo-apk` uses this for pieces of
configuration. Cargo unfortunately, however, warns about these keys as "unused
keys in the manifest"

This commit instead whitelists the `package.metadata` key to not warn about any
data inside.

Add support for cdylib crate types

And while we're at it this also extends support for all future crate types
assuming that they aren't linkable by default.

Auto merge of #2781 - alexcrichton:block-if-dirty, r=brson

Prevent packaging a crate if any files are dirty

This commit alters Cargo's behavior to prevent publishing a crate by default if
any files in that crate are determined to be dirty, that is either modified or
not part of the working tree.

This can prevent common mistakes like many listed in #2063 and enables features like https://github.com/rust-lang/cargo/issues/841.

Closes https://github.com/rust-lang/cargo/issues/1597
Closes #2063

Auto merge of #2757 - alexcrichton:panic-profile-dox, r=brson

Document the `panic` profile option

Closes #2750

Auto merge of #2704 - alexcrichton:clean-no-fetch, r=brson

Don't fetch all crates on clean

Only fetch those that are needed by avoiding `ops::fetch`

Auto merge of #2779 - matklad:propagete-color-config, r=alexcrichton

Propagate --color option to rustc

closes #2740

Will try to add a test for this soon (and fix failing tests if any, compiling/running tests locally is slow :( ).

I am not sure what is the right place to add `--color` option to the command line. I use [`build_base_args`]. [`process`] also looks like a good candidate, because it is more general, but if we look at the [`CommandType`] we see that only `rustc` command supports `--color`.

[`build_base_args`]: https://github.com/matklad/cargo/blob/1f7504397ce7c40ff708e2d31da164822e88ed37/src/cargo/ops/cargo_rustc/mod.rs#L449
[`process`]: https://github.com/matklad/cargo/blob/1f7504397ce7c40ff708e2d31da164822e88ed37/src/cargo/ops/cargo_rustc/mod.rs#L608
[`CommandType`]: https://github.com/matklad/cargo/blob/1f7504397ce7c40ff708e2d31da164822e88ed37/src/cargo/ops/cargo_rustc/engine.rs#L102

Prevent packaging a crate if any files are dirty

This commit alters Cargo's behavior to prevent publishing a crate by default if
any files in that crate are determined to be dirty, that is either modified or
not part of the working tree.

This can prevent common mistakes like many listed in #2063, and subsequently...

Closes #2063

Auto merge of #2780 - Boddlnagg:patch-1, r=alexcrichton

Fix `cargo doc --open` on Windows

This fixes #2446. Note that I have not built cargo with this change, but I have tested the functionality in isolation (on Windows 10).

As to the issue itself, I don't know why the previous version didn't work, but `start` is redundant when `cmd /C` is used.

Fix `cargo doc --open` on Windows

This fixes #2446. Note that I have not built cargo with this change, but I have tested the functionality in isolation (on Windows 10).

As to the issue itself, I don't know why the previous version didn't work, but `start` is redundant when `cmd /C` is used.

Propagate --color option to rustc

Auto merge of #2778 - alexcrichton:dont-print-on-q-when-run, r=brson

Don't print extra info on -q + `cargo run`

If a process fails then it's probably printing out why and Cargo doesn't need to
do it all over again.

Closes #2735

Don't print extra info on -q + `cargo run`

If a process fails then it's probably printing out why and Cargo doesn't need to
do it all over again.

Closes #2735

Auto merge of #2777 - matklad:harness-help, r=alexcrichton

Explain how to get help for the test harness

TIL that the default test harness has a non-trivial number of options. Guess it's better to share this knowledge.

Explain how to get help for the test harness

Auto merge of #2771 - alexcrichton:update-replace, r=brson

Don't lock overrides if we're updating them

There was already a function for this, `keep`, it was just forgotten to be
called.

Closes #2766

Auto merge of #2770 - alexcrichton:new-curl, r=brson

Update to curl 0.3

Auto merge of #2763 - mbrubeck:native-dirs, r=alexcrichton

Correctly record multiple native dirs per package

This fixes a bug when a package's build script outputs multiple library search
paths.  Because Compilation::native_dirs is a `HashMap<PackageId, PathBuf>` it
can only store one path per package.  Currently if there are multiple paths,
all but the last will be inserted and then overwritten.

The key from this map is never used anyway, so this fixes the bug by changing
it from a HashMap to a HashSet.

Test for correct library search paths during cargo run

Strip native= prefix from -L arg before additing it to LD_LIBRARY_PATH

Fixes #2765.

Correctly record multiple native dirs per package

This fixes a bug when a package's build script outputs multiple library search
paths.  Because Compilation::native_dirs is a `HashMap<PackageId, PathBuf>` it
can only store one path per package.  Currently if there are multiple paths,
all but the last will be inserted and then overwritten.

The key from this map is never used anyway, so this fixes the bug by changing
it from a HashMap to a HashSet.

Auto merge of #2774 - andrehjr:patch-doc-2754, r=alexcrichton

Document file destination of build scripts.

Close #2754

Document file destination of build scripts.

Close #2754

Auto merge of #2772 - knight42:patch, r=alexcrichton

Improve autocompletion

1. Add path completion to manifest-path options
2. Support subcommand metadata

Add zsh autocompletion to subcommand metadata

zsh: add path completion to manifest-path options

Don't lock overrides if we're updating them

There was already a function for this, `keep`, it was just forgotten to be
called.

Closes #2766

Update to curl 0.3

Auto merge of #2769 - alexcrichton:no-oom-travis, r=alexcrichton

Pass -j1 on Travis

Looks like if we do things concurrently we hit the OOM killer, so let's not do
that!

Pass -j1 on Travis

Looks like if we do things concurrently we hit the OOM killer, so let's not do
that!

Document the `panic` profile option

Closes #2750

Auto merge of #2747 - WiSaGaN:feature/rename-main-thread, r=alexcrichton

Rename main thread from '<main>' to 'main'.

This pull request resolves the test failure in rust pull request 33803
https://github.com/rust-lang/rust/pull/33803

Use place holder for main thread name in tests

Auto merge of #2755 - matklad:remove-useless-formats, r=alexcrichton

Remove useless format calls from tests

Auto merge of #2752 - wesleywiser:patch-1, r=alexcrichton

Fix example in cargo manpage

Fixes #2731

Remove useless format calls from tests

Fix example in cargo manpage

Fixes #2731

Rename main thread from '<main>' to 'main'.

This pull request resolves the test failure in rust pull request 33803

Auto merge of #2742 - alexcrichton:new-error-format, r=wycats

Fix tests for RUST_NEW_ERROR_FORMAT

A few tests were a bit too strict in the output they were looking for, this
instead relaxes some assertions to just what we're interested in.

Auto merge of #2744 - alexcrichton:bump, r=alexcrichton

Bump version numbers

Working on 0.12.0 now

Bump version numbers

Working on 0.12.0 now

Fix tests for RUST_NEW_ERROR_FORMAT

A few tests were a bit too strict in the output they were looking for, this
instead relaxes some assertions to just what we're interested in.

Auto merge of #2743 - alexcrichton:better-test-suite, r=alexcrichton

Split the test suite into multiple binaries

Helps reduce compile time of tests, more ergonomic names to type, more conventional configuration, and makes it basically easier to work with.

The previous `support` module is now a separate `cargotest` crate.

Shared the test suite into multiple binaries

Compiling everything in one binary was getting annoying as it just took forever
to build, instead shard it all up so we can build just particular test suites at
a time.

Remove the test! macro

This isn't really necessary and we can do setup manually in a few cases and
lazily do it in all the others.

Auto merge of #2739 - alexcrichton:configure-colors, r=alexcrichton

Configure colors of both stdout/stderr

Previously color configuration only affected stdout, not stder as well.

Closes #2734

Configure colors of both stdout/stderr

Previously color configuration only affected stdout, not stder as well.

Closes #2734

Auto merge of #2737 - aidanhs:aphs-hash-url-serialization, r=alexcrichton

Hash url serialization to ensure hash stability

`as_str` is documented to return the serialization of a url (http://servo.github.io/rust-url/url/struct.Url.html#method.as_str).
The serialization of a url has a spec (https://url.spec.whatwg.org/#url-serializing).

Hashing the serialization of a url insulates cargo against possible decisions to alter how rust-url does hashing (I've observed it happening twice). Note that rust-url happens to do this internally (but is not guaranteed to in future) and so this change doesn't actually have any effect on hash values.

r? @alexcrichton

Closes #1710

Hash url serialization to ensure hash stability

Closes #1710

Auto merge of #2730 - alexcrichton:fix-panic-abort-build-script, r=alexcrichton

Fix build scripts and panic=abort

Build scripts were apparently always compiled with the "dev" profile rather than
the standard "match whatever the normal build was" profile, which meant that if
dev/release disagreed on panic=abort you'd get compile errors. Seems bad!

This commit fixes this by just having build scripts always compile with the same
profile as libraries (for now), as this was the original intention anyway.

Closes #2726

Fix build scripts and panic=abort

Build scripts were apparently always compiled with the "dev" profile rather than
the standard "match whatever the normal build was" profile, which meant that if
dev/release disagreed on panic=abort you'd get compile errors. Seems bad!

This commit fixes this by just having build scripts always compile with the same
profile as libraries (for now), as this was the original intention anyway.

Closes #2726

Auto merge of #2687 - alexcrichton:panic-abort, r=wycats

Implement the `panic` profile option

This is the Cargo half of the implementation of [RFC 1513] which adds a new
`profile.*.panic` option to customize the `-C panic` argument to the compiler.
This is not passed by default and can otherwise be specified as `abort` or
`unwind` on the nightly compiler.

[RFC 1513]: https://github.com/rust-lang/rfcs/pull/1513

The `profile.*.panic` option is *only* used from the top-level crate, not each
crate individually. This means that applications should customize this value as
they see fit, and libraries will only use their own value when they're being
tested.

Cargo also has specific knowledge that when *testing* a crate it can't pass
`-C panic=abort` for now as the default test harness requires `panic=unwind`.
This essentially just means that `cargo test` will continue to work for crates
that specify `panic=abort` in Cargo.toml.

Implement the `panic` profile option

This is the Cargo half of the implementation of [RFC 1513] which adds a new
`profile.*.panic` option to customize the `-C panic` argument to the compiler.
This is not passed by default and can otherwise be specified as `abort` or
`unwind` on the nightly compiler.

[RFC 1513]: https://github.com/rust-lang/rfcs/pull/1513

The `profile.*.panic` option is *only* used from the top-level crate, not each
crate individually. This means that applications should customize this value as
they see fit, and libraries will only use their own value when they're being
tested.

Cargo also has specific knowledge that when *testing* a crate it can't pass
`-C panic=abort` for now as the default test harness requires `panic=unwind`.
This essentially just means that `cargo test` will continue to work for crates
that specify `panic=abort` in Cargo.toml.

Auto merge of #2723 - alexcrichton:override-errors, r=wycats

Don't throw away errors with `-p` arguments

This was unfortunately ignoring errors which would helpfully tell you how to
rerun a command with a more precise specification.

Closes #2641

Don't throw away errors with `-p` arguments

This was unfortunately ignoring errors which would helpfully tell you how to
rerun a command with a more precise specification.

Closes #2641

Auto merge of #2722 - alexcrichton:stderr-not-stdout, r=alexcrichton

Report status to stderr -- last few tests

Fixup of #2693 for the last few tests.

Fix up last few remaining tests status-to-stderr

Merge branch 'status-2-stderr' of https://github.com/matklad/cargo into stdout-not-stderr

fix cargo_compile_path_deps

fix test_cargo_publish

fix test_cargo_freshness

fix test_compile_git_deps

fix some cargo_compile tests

fix test_cargo_bench

fix test_cargo_overrides

one more regexp

fix test_cargo_package

fix test_cargo_registry

Auto merge of #2719 - semarie:test-git-vcs, r=alexcrichton

PR #1124 have replaced `git` with `vcs`

changes test_cargo_new::author_prefers_cargo to testing configuration
with `vcs`

PR #1124 have replaced `git` with `vcs`

changes test_cargo_new::author_prefers_cargo to testing configuration
with `vcs`

more auto refactoring fixes

fix more tests with auto refactoring

more regexp fixes

fix test_cargo_install

fix exit_code tests

fix more tests

fix more test with insane regexes

fix more tests with regex

fix test_cargo_test

fix some tests with IntelliJ-Rust automated refactoring

fix some more tests with regexp

fix a bunch of tests with regexp

fix test_cargo_clean

fix test_cargo_build_lib

fix test_cargo_build_auth

report status to stderr instead of stdout

Auto merge of #2710 - sbeckeriv:the-missing-lib, r=alexcrichton

The missing lib

Dearest Reviewer,

This pull request allows the value of project.links to be passed into
the build script via an environment variable. This closes #1220 . I have
added a test that makes sure that the environment variable is set. Also
note I am using CARGO_LIB not LIB because it appears to be used for
windows in appveyor. I think CARGO_LIB fits better.

I have also updated the documentation to reflect the new variable.

Thanks!
Becker

The missing lib

Dearest Reviewer,

This pull request allows the value of project.links to be passed into
the build script via an environment variable. This closes #1220 . I have
added a test that makes sure that the environment variable is set. Also
note I am using CARGO_LIB not LIB because it appears to be used for
windows in appveyor. I think CARGO_LIB fits better.

I have also updated the documentation to reflect the new variable.

Thanks!
Becker

[Updated]
Github comments moved to CARGO_MANIFEST_LINKS
Fix if statement

Auto merge of #2703 - alexcrichton:target-dir-abs-path, r=alexcrichton

Fix relative `build.target-dir` configuration

Closes #2700

Auto merge of #2706 - alx741:extend_manpages, r=alexcrichton

Add man pages for cargo commands

So, the markdown port (#2672) is in idle, I'll be working in a way to make it without depending on external tools, but that is going to take a bit longer.

These are the **troff** pages for the rest of the cargo commands; previously the *cargo-build(1)* was added, so here are the rest.

No extra build dependencies here, just the new man pages.

Auto merge of #2688 - carols10cents:docs-refresh, r=alexcrichton

Docs refresh

Hi! Sooooo I've been thinking about the cargo docs lately and today I decided to try some of the things I've been thinking about.

There are some smaller changes in here, typos and clarifications and stuff, that I'm totally willing to break out into a separate PR(s) if yinz want.

My goals for the larger changes were:

- **Make one obvious place to go for info on every which way to specify a dependency.** I've found myself clicking around the different doc pages a lot to find the semver syntax, the different keys that can go with a git location, the `path` override syntax, etc. So I made one top-level "Specifying Dependencies" page and moved relevant info from the guide, the manifest page, and the crates.io page.
- **Make The Guide a bit more focused.** There were a few topics in there that didn't really fit in the story arc of trying to get someone up and running with cargo-- it veered off into some more advanced topics that I've moved to places I think they fit better.
- **Make the crates.io page only about publishing, not using and publishing.** The info about adding dependencies got folded into either the guide or the new specifying dependencies page, so this should close https://github.com/rust-lang/cargo/issues/1035.

I'm also thinking about having someone new to rust/cargo try following the guide, but wanted to get a first pass from experienced people :)

Auto merge of #2713 - sbeckeriv:fix-name-ordering, r=alexcrichton

Correct author order

Dearest Reviewer,

PR #2696 added some new checks for environment variables for author and
email. After the pull request was merged a comment was left about gits
ordering for looking at the variables. This pull request closes #2705 by
reordering the look up and also addeds CARGO_NAME and CARGO_EMAIL to the
top of the order.

Thanks
Becker